Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
Cola2：连续语义压缩与平衡离散生成的协同自适应层次语言建模
🧭 层次语言建模 · 连续压缩离散扩散生成
The University of Hong Kong · ByteDance Seed · Peking University · Renmin University of China
提出Cola2，通过连续语义压缩、离散重建-生成平衡与连续-离散协同适应，346B tokens训练8任务平均60.10超越Llama-3-8B部分任务
📌 工作参考价值（4 点）
- 对生成式推荐/Semantic ID：将物品语义压缩为连续 latent，再离散生成语义 ID；负反馈控制压缩率可省去辅助 loss 调参，适合对商品描述或用户行为序列做自适应语义摘要，减少 token 预算。
- 对搜索/广告文案生成：block-causal masked diffusion 解码器在 clean/noisy/dropped latent 条件下训练，能提高对 query/商品属性缺失或噪声输入的鲁棒性；Classifier-free guidance 可显式调节文案对约束的重建忠诚度和自主创意之间的平衡。
- 对 Agent 多轮交互：推理时 re-encode under fixed span layout 保持隐历史与实际文本一致，可缓解多轮生成中 latent history 漂移；stop-gradient 分离 Flow Matching 先验与表示学习，适合多任务/多阶段训练，避免先验目标干扰主任务表示。
- 对工程实现：continuous latent 压缩+离散解码可减少长序列 token 数，提升长文本/长行为序列建模效率；训练用 clean/noisy/dropped latent 条件成本低，可作为增强 decoder 鲁棒性的通用 trick。